ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces
ZO-Act：基于单次激活信息低秩子空间的零阶微调
🧭 LLM 高效零阶微调 · 激活子空间
University at Albany, SUNY · IBM T. J. Watson Research Center
利用激活矩阵低秩基约束零阶优化扰动，大幅降低梯度估计方差，实现高效LLM微调
📌 工作参考价值（4 点）
- 在无法使用反向传播或内存极度受限的场景（如移动端、隐私保护环境）下，可将该方法用于微调电商搜索/推荐系统中的LLM组件，仅需前向传播损失评估。
- 低秩子空间构建方式与LoRA类似，但可结合零阶优化，直接适应量化LLM（如INT4），冻结量化权重优化低维系数，适合部署轻量级推荐模型。
- 仅前向计算显著降低显存占用，显式系数矩阵兼容Adam优化器，能更快收敛，可借鉴到需要频繁冷启动或增量更新的推荐Agent微调流程。
- 理论分析揭示的方差-偏差权衡可为选择扰动子空间维度提供指导：高激活秩层可分配更多秩，平衡近似误差与梯度估计质量，可扩展到推荐系统中多任务LLM的参数高效微调。